#Zeroth-Order Optimization

4 篇

A Zeroth-Order Paradigm for LLM Preference Alignment

基于比较预言机的 LLM 偏好对齐零阶优化范式

🧭 LLM 偏好对齐 · Zeroth-order 优化 ★ 深度解读

UC Berkeley · New York University · Alibaba DAMO Academy · Columbia University

提出 ComPO，用比较预言机从低 margin/noisy 偏好对中提取方向信号，缓解 likelihood displacement

📌 工作参考价值（4 点）

在 LLM 排序、Agent 策略或生成式推荐的 preference tuning 中，不要直接丢弃低 margin 偏好对：按参考策略 logπ 差异切分 clean/noisy，对 noisy 对改用比较信号更新，能保留数据并减少 likelihood displacement。
工程上可采用冻结主干、只对 lm_head 输出层做稀疏扰动更新；阈值为保留约 1%-6% 的非零条目，显存可压到 16-30GB 级（A40），适合在已有线上 checkpoint 上做轻量任务适配。
在线正则化可参考：用当前 policy 对无标注 prompt 采样，计算 length-normalized log ratio 作为 reverse-KL 代理，soft damping 调步长；配合 successful-batch replay buffer 可进一步稳定 LC win rate。
训练诊断不要只看 benchmark：观察 comparison oracle 负输出计数分布、pairwise log-likelihood 变化方向，可作为 likelihood displacement 的早期 sanity check。

Training | 2026-09-15 | HF Daily | score 8/10

SubZero+: Efficient Zeroth-Order LLM Fine-Tuning via Large Learning Rates

SubZero+：基于大学习率的高效零阶 LLM 微调

🧭 零阶优化 · 低秩子空间微调 ★ 深度解读

Beijing Normal University · Singapore Management University · Xiaomi Inc. · Beijing Key Laboratory of Artificial Intelligence for Education · Engineering Research Center of Intelligent Technology and Educational Application (MOE)

在低秩子空间内多查询梯度估计+低秩Adam+Haar符号校正，让零阶微调能使用大学习率并稳定提升性能

📌 工作参考价值（3 点）

在显存受限的 LLM 微调/适配任务中（如 24GB 卡微调 8B 模型、边缘端私有化部署），可直接借鉴 SubZero+ 的“低秩子空间内多查询 ZO”方案：每步 K+1 次前向，无反向传播，显存接近推理；在相同前向预算下，K=50-100 可显著提高稳定性和准确率。适合 query 生成、文案生成等轻量生成任务的快速适配。
若业务里已有 LoRA 等低秩适配模块，可将优化器换成“子空间 Adam”：在低秩参数上维护 r×r 的一阶/二阶矩，按元素自适应步长，几乎不增加显存，但能扩大可用学习率范围、减少调参成本。对广告标题生成、搜索词推荐等多场景快速迭代尤其有用。
实现注意：用 QR 分解生成随机投影矩阵时，务必对 Q 按 R 对角元素做 sign correction，否则投影矩阵不是 Haar 分布，会导致方向性偏差，影响优化稳定性。该工程细节可落地到任何使用随机子空间/扰动的算法中（如差分隐私、对抗训练、ZO 超参搜索）。

Training | 2026-08-16 | cs.LG | score 8/10

Zeroth-Order Optimization LLM Fine-Tuning Low-Rank Subspace Adam Memory-Efficient Multi-Query

Beyond the Capability Boundary: Zeroth-Order Optimization for Self-Evolving LLM Agents

超越能力边界：零阶优化驱动的自进化LLM智能体

🧭 Agent 自进化 · 零阶优化突破能力边界 ★ 深度解读

北京理工大学计算机学院智能信息技术北京市重点实验室 · 深圳MSU-BIT大学广东省机器感知与智能计算实验室 · Alaya Lab

通过零阶梯度估计扰动LoRA参数，使Agent在困难样本上也能采样正确轨迹，突破能力边界。

📌 工作参考价值（4 点）

零阶优化思想可迁移至推荐系统模型更新：当环境反馈为黑盒（如点击、转化）无法直接求梯度时，可通过对服务策略参数（如召回或排序的LoRA分支）施加随机扰动，利用线上指标变化估计梯度，实现无需过程监督的自优化。
并行扰动推理机制大幅降低零阶优化的采样开销：只计算一次骨干预网络输出，多个轻量LoRA支路并行评估，适合在线服务中低延迟要求下进行策略探索。
自适应查找缓存（Adaptive Lookup）对重复工具调用（如搜索相同关键词、访问同一页面）做命中复用，节省30%-50%的交互时间，在推荐系统中可类比为缓存用户画像/点击日志，避免重复计算，加速多臂老虎机策略评估。
答案困惑度损失（Answer Perplexity Loss）提供平滑、稳定的信号，比稀疏的二元奖励更利于优化收敛；在推荐场景中可用商品描述或用户评论的对数似然作为过程级信号，缓解结果奖励稀疏问题。

Agent | 2026-08-10 | cs.CL | score 8/10

Self-Evolving Zeroth-Order Optimization LLM Agents Deep Research LoRA SFT

SkillOpt-Lite: Better and Faster Agent Self-evolution via One Line of Vibe

SkillOpt-Lite：一行代码实现更优更快的 Agent 技能自我进化

🧭 代理技能自进化 · 零阶优化

LMMs-Lab · NTU MMLab · Microsoft

用零阶优化与三项原则将 Agent 技能优化精简为一行代码，提速收敛并让纳米模型超越大模型

📌 工作参考价值（4 点）

借鉴 SkillOpt-Lite 的最小管线思路，可把推荐系统的策略文档/提示工程当做可编辑代码，通过文件轨迹探索+共识挖掘自动化迭代，减少人工调参。
独立验证门控（independent validation gating）能作为推荐系统在线实验的安全网，自动拦截效果退化。
零阶优化对不可微的 LLM 推荐链路适用，可用于优化召回 query 生成或排序 prompt，无需访问模型内部梯度。
一行 vibe 命令集成进 VSCode 的哲学，可启发构建面向业务分析师或运营的“一键调优推荐策略”工具，降低门槛。

Agent | 2026-07-02 | HF Daily | score 7/10

Skill Optimization Zeroth-Order Optimization Agent Self-evolution Minimal Pipeline Vibe Coding Code Agent